基于Java Web的分布式数据库访问及海量数据分析研究
近年来,云计算、云存储、云安全在科学研究、企业应用、网络服务等领域成为持续发酵的热点话题,其所涉及的问题核心在于,针对海量数据进行处理、存储和管理.在信息技术广泛应用的时代,求解问题的数据规模持续扩大,企业级的数据需求已经达到数百乃至数千TB的量级,例如,天文观测数据规模在数千TB的量级,广电系统的视频数据往往在数百TB的量级.
海量数据处理的高效性与可靠性,成为制约云计算应用的基本技术瓶颈.传统的数据库甚至分布式数据库的理念,无法有效地容纳和处理成百上千TB的海量数据.在国际上,数千TB的天文观测数据,采用ROOT系统进行存储和管理.ROOT系统的海量数据存储理念,为云计算时代的数据存储的高效实现和管理,提供了可借鉴的范例.
在基于海量数据的数据挖掘与信息提取过程中,经过清洗、整理后的待分析数据,其规模往往会降低几个数量级,可以存放在分布式的数据仓库中,对数据仓库的分布式访问,其实现算法和实现过程的任何技术进步,都会对数据挖掘和信息提取应用软件的大规模运行,带来综合性能的明显提升.
在云计算的背景下,海量数据的高效存储管理,数据库的分布式访问,成为了相关应用软件研制和开发的基本技术,针对这两个问题的研究与分析,可以有效地缓解相关应用软件在数据IO方面的瓶颈,对相关应用软件的综合性能提升,有着重要的影响.
本文针对基于ROOT架构的海量数据存储与管理、基于分布式数据库的访问这两个问题及其实现技术进行调研、分析、解剖和研究,意图为相关应用软件的研制和开发提供数据I0方面的实用算法和程序流程,为相关应用软件的综合性能提升,解决其数据访问瓶颈.
本文针对JavaWeb的三种轻量级框架-Struts2框架、Spring框架和Hibernate框架进行了文献调研、框架结构分析和工作流程剖析,对分布式数据库的特点、体系结构和基本理论进行了系统的调研、梳理与学习,对JavaWeb框架下分布式数据库的访问给出了基本流程和模块设计.对ROOT框架的核心模块和主要功能进行了文献调研和分析,对ROOT框架的文件存储系统和输入输出系统进行了详细的梳理和分析,通过实验验证了ROOT框架的文件存储结构对海量数据分析性能的影响.
- 作者：
- 张卫星
- 学位授予单位：
- 中国科学院研究生院
- 专业名称：
- 计算机软件与理论
- 授予学位：
- 硕士
- 学位年度：
- 2012年
- 导师姓名：
- 曹建文
- 关键词：
- 分布式数据库；Java技术；Web框架；数据库访问；海量数据分析；ROOT框架；面向对象
-